It is crucial to evaluate the quality and determine the optimal number of clusters in cluster analysis. In this paper, the multi-granularity characterization of the data set is carried out to obtain the hyper-balls. The cluster internal evaluation index based on hyper-balls(HCVI) is defined. Moreover, a general method for determining the optimal number of clusters based on HCVI is proposed. The proposed methods can evaluate the clustering results produced by the several classic methods and determine the optimal cluster number for data sets containing noises and clusters with arbitrary shapes. The experimental results on synthetic and real data sets indicate that the new index outperforms existing ones.
translated by 谷歌翻译
The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.
translated by 谷歌翻译
音乐包含超出节拍和措施的层次结构。尽管层次结构注释有助于音乐信息检索和计算机音乐学,但在当前的数字音乐数据库中,这种注释很少。在本文中,我们探讨了一种数据驱动的方法,以自动从分数中提取分层的度量结构。我们提出了一个具有时间卷积网络条件随机字段(TCN-CRF)体系结构的新模型。给定符号音乐得分,我们的模型以良好的形式采用任意数量的声音,并预测了从偏低级别到截面级别的4级层次级别结构。我们还使用RWC-POP MIDI文件来注释数据集,以促进培​​训和评估。我们通过实验表明,在不同的编排设置下,提出的方法的性能优于基于规则的方法。我们还对模型预测进行了一些简单的音乐分析。所有演示,数据集和预培训模型均在GitHub上公开可用。
translated by 谷歌翻译
抒情的解释可以帮助人们快速理解歌曲及其歌词,还可以使管理,检索和发现音乐档案不断增长,从而更加容易地检索和发现歌曲。在本文中,我们提出了Bart-Fusion,这是一种新型模型,用于从歌词和音乐音频中生成歌词解释,该模型将大规模的预训练的语言模型与音频编码器结合在一起。我们采用跨模式注意模块将音频表示形式纳入歌词表示形式,以帮助预先训练的语言模型从音频的角度了解歌曲,同时保留语言模型的原始生成性能。我们还发布了歌曲解释数据集,这是一个新的大型数据集,用于培训和评估我们的模型。实验结果表明,其他音频信息有助于我们的模型更好地理解单词和音乐,并产生精确和流利的解释。跨模式音乐检索的另一个实验表明,巴特融合产生的解释也可以帮助人们比原始的巴特更准确地检索音乐。
translated by 谷歌翻译
激活压缩训练〜(ACT)已被证明是减少训练深神经网络中记忆消耗的一种有希望的方法。但是,现有的ACT工作依赖于在深神经网络(DNN)训练期间寻找最佳的位宽度以减少量化噪声,从而使过程变得复杂且透明。为此,我们提出了一种简单有效的DNN培训方法。我们的方法是由观察结果激励的:\ emph {DNN向后传播主要取决于激活图的低频组分〜(LFC),而不是高频组件〜(HFC)}。它表明激活图的HFC在DNN训练过程中是高度冗余和可压缩的,这激发了我们提出的双重激活精度〜(分裂)。在培训期间,分裂估计激活图的LFC和HFC,并将HFC压缩到低精度副本中以消除冗余。这可以大大减少记忆消耗,而不会对DNN向后传播的精度产生负面影响。这样,部门可以实现可比的表现与正常培训。三个基准数据集的实验结果表明,在记忆消耗,模型准确性和跑步速度方面,分裂的表现优于最先进的基线方法。
translated by 谷歌翻译
目前,深度神经网络(DNN)在不同的应用中被广泛采用。尽管具有商业价值,但培训良好的DNN仍在资源消费。因此,训练有素的模型是其所有者的宝贵知识产权。但是,最近的研究揭示了模型窃取的威胁,即使他们只能查询模型,对手也可以获得受害者模型的功能相似的副本。在本文中,我们提出了一个有效且无害的模型所有权验证(移动),以防御不同类型的模型窃取,而无需引入新的安全风险。通常,我们通过验证可疑模型是否包含辩护人指定的外部特征的知识来进行所有权验证。具体而言,我们通过将一些训练样本带来样式转移来嵌入外部功能。然后,我们训练一个元分类器,以确定模型是否被受害者偷走了。这种方法的灵感来自于理解,即被盗模型应包含受害者模型学到的功能的知识。特别是,我们在白色框和黑框设置下开发了移动方法,以提供全面的模型保护。基准数据集的广泛实验验证了我们方法的有效性及其对潜在适应性攻击的抵抗力。复制我们方法的主要实验的代码可在\ url {https://github.com/thuyimingli/move}上获得。
translated by 谷歌翻译
过度拟合被定义为当前模型完美拟合了特定数据集,从而导致泛化,最终可能会影响预测未来数据的准确性。在这项研究中,我们使用了有关乳腺癌转移的EHR数据集研究深度喂养神经网络(FNNS)预测模型的过度拟合。我们包括了11种深FNNS模型的超参数,并采用了一种经验方法来研究这些超参数中的每一个如何影响预测性能和占用大量值时的预测性能和过度拟合。我们还研究了一些有趣的超参数对如何相互作用以影响模型性能和过度拟合。我们研究的11个超参数包括激活功能;重量初始化器,隐藏层的数量,学习率,动量,衰减,辍学率,批次大小,时期,L1和L2。我们的结果表明,大多数单个超参数均通过模型预测性能和过度拟合而进行负或正面校正。特别是,我们发现,过度拟合的整体趋于与学习率,衰减,批处理边和L2负相关,但往往与动量,时代和L1呈正相关。根据我们的结果,学习率,衰减和批次大小可能比大多数其他超参数(包括L1,L2和辍学率)对过度拟合和预测性能产生更大的影响,这些均可用于最小化过度拟合。我们还发现了一些有趣的相互作用对超参数,例如学习率和动量,学习率和衰减,以及批量的大小和时代。关键词:深度学习,过度拟合,预测,网格搜索,喂养神经网络,乳腺癌转移。
translated by 谷歌翻译
本文提出了一个基于加固学习(RL)的电动连接车辆(CV)的生态驾驶框架,以提高信号交叉点的车辆能效。通过整合基于型号的汽车策略,改变车道的政策和RL政策来确保车辆代理的安全操作。随后,制定了马尔可夫决策过程(MDP),该过程使车辆能够执行纵向控制和横向决策,从而共同优化了交叉口附近CVS的CAR跟踪和改变车道的行为。然后,将混合动作空间参数化为层次结构,从而在动态交通环境中使用二维运动模式训练代理。最后,我们所提出的方法从基于单车的透视和基于流的透视图中在Sumo软件中进行了评估。结果表明,我们的策略可以通过学习适当的动作方案来大大减少能源消耗,而不会中断其他人类驱动的车辆(HDVS)。
translated by 谷歌翻译
在过去的几十年中,车辆的升级和更新加速了。出于对环境友好和情报的需求,电动汽车(EV)以及连接和自动化的车辆(CAVS)已成为运输系统的新组成部分。本文开发了一个增强学习框架,以在信号交叉点上对由骑士和人类驱动车辆(HDV)组成的电力排实施自适应控制。首先,提出了马尔可夫决策过程(MDP)模型来描述混合排的决策过程。新颖的状态表示和奖励功能是为模型设计的,以考虑整个排的行为。其次,为了处理延迟的奖励,提出了增强的随机搜索(ARS)算法。代理商所学到的控制政策可以指导骑士的纵向运动,后者是排的领导者。最后,在模拟套件相扑中进行了一系列模拟。与几种最先进的(SOTA)强化学习方法相比,提出的方法可以获得更高的奖励。同时,仿真结果证明了延迟奖励的有效性,延迟奖励的有效性均优于分布式奖励机制}与正常的汽车跟随行为相比,灵敏度分析表明,可以将能量保存到不同的扩展(39.27%-82.51%))通过调整优化目标的相对重要性。在没有牺牲行进延迟的前提下,建议的控制方法可以节省多达53.64%的电能。
translated by 谷歌翻译
黑盒攻击通常面临两个问题:可转移性差和无法逃避对抗性防御。为了克服这些缺点,我们通过平滑良性图像中纹理的线性结构(称为advsmo)来创建一种原始方法来生成对抗示例。我们在不依赖目标模型的任何内部信息的情况下构建对抗性示例,并设计不可感知的高攻击成功率约束,以指导Gabor滤波器选择适当的角度和鳞片以使输入图像的线性纹理平滑以生成对抗性示例。从上面的设计概念中受益,Advsmo将产生具有强大可转移性和稳固性的对抗性例子。最后,与八种目标模型相比,与四种高级黑盒对抗攻击方法相比,结果表明,ADVSMO在CIFAR-10上将平均攻击成功率提高了9%,而小型Imimagenet数据集则将平均攻击成功率提高了16%。这些攻击方法中最好的。
translated by 谷歌翻译